To enable a safe and effective human-robot cooperation, it is crucial to develop models for the identification of human activities. Egocentric vision seems to be a viable solution to solve this problem, and therefore many works provide deep learning solutions to infer human actions from first person videos. However, although very promising, most of these do not consider the major challenges that comes with a realistic deployment, such as the portability of the model, the need for real-time inference, and the robustness with respect to the novel domains (i.e., new spaces, users, tasks). With this paper, we set the boundaries that egocentric vision models should consider for realistic applications, defining a novel setting of egocentric action recognition in the wild, which encourages researchers to develop novel, applications-aware solutions. We also present a new model-agnostic technique that enables the rapid repurposing of existing architectures in this new context, demonstrating the feasibility to deploy a model on a tiny device (Jetson Nano) and to perform the task directly on the edge with very low energy consumption (2.4W on average at 50 fps).

在本报告中，我们描述了我们提交给Epic-Kitchens-100无监督的域适应（UDA）挑战的技术细节。为了应对UDA设置下存在的域移位，我们首先利用了最近的域概括（DG）技术，称为相对规范对准（RNA）。其次，我们将这种方法扩展到无标记的目标数据工作，从而使模型更简单地以无监督的方式适应目标分布。为此，我们将UDA算法包括在内，例如多级对抗对准和专心熵。通过分析挑战设置，我们注意到数据中存在二次并发转移，通常称为环境偏见。它是由存在不同环境（即厨房）引起的。为了处理这两个班次（环境和时间段），我们扩展了系统以执行多源多目标域的适应性。最后，我们在最终提案中采用了不同的模型来利用流行视频体系结构的潜力，并为合奏改编介绍了两次损失。我们的提交（条目“ PLNET”）在排行榜上可见，并在“动词”中排名第二，并且在“名词”和“ Action”中都处于第三位。

由于新型神经网络体系结构的设计和大规模数据集的可用性，对象检测方法在过去几年中取得了令人印象深刻的改进。但是，当前的方法有一个重要的限制：他们只能检测到在训练时间内观察到的类，这只是检测器在现实世界中可能遇到的所有类的子集。此外，在训练时间通常不考虑未知类别的存在，从而导致方法甚至无法检测到图像中存在未知对象。在这项工作中，我们解决了检测未知对象的问题，称为开放集对象检测。我们提出了一种名为Unkad的新颖培训策略，能够预测未知的对象，而无需对其进行任何注释，利用训练图像背景中已经存在的非注释对象。特别是，unkad首先利用更快的R-CNN的四步训练策略，识别和伪标签未知对象，然后使用伪通量来训练其他未知类。尽管UNKAD可以直接检测未知的对象，但我们将其与以前未知的检测技术相结合，表明它不成本就可以提高其性能。

在机器人技术中，Visual Place识别是一个连续的过程，它作为输入视频流，以产生机器人在已知位置地图中的当前位置的假设。此任务需要针对实际应用的强大，可扩展和高效的技术。这项工作提出了使用顺序描述符对技术的详细分类法，突出了不同的机制，以融合各个图像的信息。实验结果的完整基准支持了这种分类，该基准提供了有关这些不同建筑选择的优势和劣势的证据。与现有的顺序描述方法相比，我们进一步研究了变压器而不是CNN骨架的生存能力，我们提出了一个名为SEQVLAD的新的临时序列级聚合器，该序列级别的聚合器在不同数据集中胜过先前的艺术状态。该代码可从https://github.com/vandal-vpr/vg-transformers获得。

在联邦设置中接受培训的模型通常会遭受降解的表演，并且在概括方面失败，尤其是在面对异质场景时。在这项工作中，我们通过损失和黑森特征光谱的几何形状的镜头来研究这种行为，将模型缺乏概括能力与溶液的清晰度联系起来。通过先前的研究将损失表面和概括差距连接起来的动机，我们表明i）在本地培训客户，以清晰感最小化（SAM）或其自适应版本（ASAM）和II）平均随机重量（SWA）服务器端可以基本上改善联合学习的概括，并帮助弥合差距，以中央集权模型。通过在具有均匀损失均匀损失的社区中寻求参数，该模型会收敛于平坦的最小值及其泛化，从而在均质和异质情况下都显着改善。经验结果证明了这些优化器在各种基准视觉数据集（例如CIFAR10/100，Landmarks-User-160K，IDDA）和任务（大规模分类，语义分割，域概括）中的有效性。

语义细分对于使自动驾驶车辆自动驾驶至关重要，从而使他们能够通过将单个像素分配给已知类别来理解周围环境。但是，它可以根据用户汽车收集的明智数据运行；因此，保护​​客户的隐私成为主要问题。出于类似的原因，最近将联邦学习作为一种新的机器学习范式引入，旨在学习全球模型，同时保留隐私并利用数百万个远程设备的数据。尽管在这个主题上进行了几项努力，但尚未明确解决语义细分中联合学习在迄今为止驾驶的挑战。为了填补这一空白，我们提出了FedDrive，这是一个由三个设置和两个数据集组成的新基准，其中包含了统计异质性和域概括的现实世界挑战。我们通过深入的分析基于联合学习文献的最新算法，将它们与样式转移方法相结合以提高其概括能力。我们证明，正确处理标准化统计数据对于应对上述挑战至关重要。此外，在处理重大外观变化时，样式转移会提高性能。官方网站：https：//feddrive.github.io。

Federated Learning (FL) allows training machine learning models in privacy-constrained scenarios by enabling the cooperation of edge devices without requiring local data sharing. This approach raises several challenges due to the different statistical distribution of the local datasets and the clients' computational heterogeneity. In particular, the presence of highly non-i.i.d. data severely impairs both the performance of the trained neural network and its convergence rate, increasing the number of communication rounds requested to reach a performance comparable to that of the centralized scenario. As a solution, we propose FedSeq, a novel framework leveraging the sequential training of subgroups of heterogeneous clients, i.e. superclients, to emulate the centralized paradigm in a privacy-compliant way. Given a fixed budget of communication rounds, we show that FedSeq outperforms or match several state-of-the-art federated algorithms in terms of final performance and speed of convergence. Finally, our method can be easily integrated with other approaches available in the literature. Empirical results show that combining existing algorithms with FedSeq further improves its final performance and convergence speed. We test our method on CIFAR-10 and CIFAR-100 and prove its effectiveness in both i.i.d. and non-i.i.d. scenarios.

增量学习代表了空中图像处理中的一个关键任务，特别是给出了大规模注释数据集的有限可用性。关于当前深度神经结构的一个主要问题被称为灾难性遗忘，即无能忠实地维护过去的知识，一旦提供了一种新的数据来刷新。多年来，已经提出了几种技术来减轻图像分类和对象检测的这个问题。但是，只有最近，焦点已经转移到更复杂的下游任务，例如实例或语义细分。从增量级学习的语义分割任务开始，我们的目标是将此策略调整到空中域，利用与自然图像不同的特殊功能，即定向。除了标准知识蒸馏方法之外，我们还提出了一种对比规范化，其中任何给定的输入与其增强版本（即翻转和旋转）进行了比较，以便最小化两个输入产生的分段特征之间的差异。我们展示了我们解决Potsdam数据集的效果，表现出每次测试中的增量基线。可用的代码：https：//github.com/edornd/contrastive-distillation。

事件摄像机是新型生物启发传感器，其异步捕获“事件”形式的像素级强度变化。由于它们的传感机制，事件相机几乎没有运动模糊，这是一个非常高的时间分辨率，并且需要比传统的基于帧的相机更小的电力和存储器。这些特性使它们成为一个完美的拟合若干现实世界应用，如在可穿戴设备上的专门动作识别，其中快速相机运动和有限的电力挑战传统视觉传感器。然而，迄今为止，基于事件的愿景的不断增长的愿景领域已经忽略了在此类应用中的活动摄像机的潜力。在本文中，我们表明事件数据是自我监测行动识别的非常有价值的模态。为此，我们介绍了N-EPIC-Kitchens，这是大型史诗厨房数据集的第一个基于事件的相机扩展。在此背景下，我们提出了两种策略：（i）使用传统的视频处理架构（E $ ^ 2 $（GO））和（ii）使用事件数据直接处理事件相机数据（E $ ^ 2 $（GO））和蒸馏光流信息（E $ ^ 2 $（go）mo）。在我们提出的基准测试中，我们表明事件数据为RGB和光流提供了可比性的性能，但在部署时没有任何额外的流量计算，以及相对于RGB的信息高达4％的性能。

虽然现有的语义分割方法实现令人印象深刻的结果，但它们仍然努力将其模型逐步更新，因为新类别被发现。此外，逐个像素注释昂贵且耗时。本文提出了一种新颖的对语义分割学习弱增量学习的框架，旨在学习从廉价和大部分可用的图像级标签进行新课程。与现有的方法相反，需要从下线生成伪标签，我们使用辅助分类器，用图像级标签培训并由分段模型规范化，在线获取伪监督并逐步更新模型。我们通过使用由辅助分类器生成的软标签来应对过程中的内在噪声。我们展示了我们对Pascal VOC和Coco数据集的方法的有效性，表现出离线弱监督方法，并获得了具有全面监督的增量学习方法的结果。